Learning a Set of Hand Motion Primitives from Magnetic 3D Data

When robots enter our homes to help us with our daily life tasks, there will be a need for an interface where a robot system can learn from humans demonstrating a task, similar to how humans learn new skills by imitating. It has been shown that human movements are composed of smaller basic units of motions, called primitives. If we can identify and learn these primitives, then a robot will be able to recognise new actions composed of these primitives and transfer them to its own motor control. Selection of optimal sets of primitives is an active field of research. In this thesis, we investigate if an “alphabet” of primitive motions can be found automatically from hand motion data, extracted from humans demonstrating actions manipulating an object, by using an unsupervised learning technique. We use clustering, attempting to discover a set of primitive motions present in a 3D time series data set, generated by magnetic sensors placed on a human hand. In our experiments, we explore different approaches to segmentation of time series data to find a segmentation resulting in distinct clusters. Each segment is considered to be a point in a higher dimensional space spanned by all 3D points in the segment. These points are then grouped together by using k-means clustering. The performance of the found clusters is compared with manually defined primitives, by approximating a sequence with concatenated clusters using a Nearest Neighbour approach. The results show that it is possible to find clusters by applying k-means to a segmentation based on motion energy, although these clusters are probably too few to serve as an alphabet. The evaluation method used indicates that the motion classification performance with the automatically found primitives do not significantly differ from manually defined. Sammanfattning Inlärning av en uppsättning handrörelseprimitiver från magnetiska 3D-data I en framtid, när robotar har flyttat in i våra hem för att hjälpa oss med våra vardagssysslor, kommer det att behövas ett gränssnitt där en robot kan lära sig nya uppgifter från en människa som visar, på liknande sätt som människor lär sig genom att imitera. Studier har visat att mänsklig rörelse består av kortare basenheter av rörelser, liknande ett alfabet. Om vi kan identifiera och lära dessa primitiva rörelser, så skulle en robot kunna känna igen nya rörelser som består av dessa primitiver för att sedan överföra dem till sin egen motorik. Vilka dessa primitiver är, är dock okänt och ett aktivt forskningsområde. I den här rapporten används oövervakad inlärning för att undersöka om en uppsättning primitiva rörelser, ett ”alfabet”, kan hittas automatiskt från 3D-data. Data har genererats från magnetiska sensorer placerade på en mänsklig hand som utför handlingar där föremål hanteras. I experiment undersöks olika sätt att segmentera tidsserier för att hitta en indelning som resulterar i tydliga kluster. Varje segment betraktas som en punkt i ett högdimensionellt rum där dimensionerna motsvarar koordinater i alla datapunkter i segmentet. Punkterna grupperas sedan ihop med k-meansklustring. Prestanda för de funna klustren jämförs slutligen med manuellt definierade primitiver, genom enkel klassificering med en närmsta-grannemetod. Resultaten visar att det är möjligt att hitta kluster genom att tillämpa k-means på en segmentering som baseras på rörelseenergi. Klustren är dock antagligen för få för att kunna användas som ett alfabet av handrörelser. Utvärderingsmetoden indikerar ingen signifikant skillnad mellan de automatiskt funna primitiverna och de manuellt definierade.